Free Heavy-Tailed Lunch for Muon: A Theoretical Justification of Empirical Success
Muon优化器的重尾噪声理论：为何非欧几里得方法在训练Transformer时更优
🧭 优化算法理论 · 非欧几里得优化
ETH Zurich · Technical University of Munich · Munich Center for Machine Learning
证明Muon在重尾噪声下能以最优样本复杂度达到核范数平稳点，且无需额外维度依赖
📌 工作参考价值（4 点）
- 训练深度推荐模型（如Transformer-based CTR预估）时，可尝试用Muon替换AdamW，尤其适用于大矩阵参数（如Embedding层、注意力投影层）；其更新基于谱范数，可避免维度依赖的样本复杂度膨胀。
- 在重尾噪声环境下（如点击、转化数据的长尾分布梯度），Muon理论上能稳定收敛，工程上可优先考虑非欧几里得优化器。
- 文章指出除谱范数外的其他Schatten范数也具竞争力，可启发尝试新正则化或约束（如核范数、Frobenius范数组合）来提升模型训练稳健性。
- 理论结果提示：优化器的选择需与平稳性度量相匹配；若业务中更关注核范数意义上的收敛，Muon类方法有理论保障，可指导自定义优化器的设计。